Sau trận Stalingrad, vào tháng 9 năm 1942, Waffenamt chỉ thị cho tập đoàn vũ khí Alkett và Vomag phải thiết kế một loại pháo tự hành diệt tăng theo các yêu cầu: giáp trước dày 100 mm, giáp hai bên sườn dày từ 40 mm-50 mm, xích tăng rộng và dày hơn, khoảng sáng gầm khoảng 50 cm và đạt tốc độ tối đa 26 km/h. Và dự án đó được cả Alkett và Vomag gấp rút thực hiện, tất cả các khung tăng đều được đưa vào xem xét. Cuối cùng dự án được đặt tên là Jagdpanzer IV, được lắp khung tăng Panzer-IV và trang bị pháo 7,5 cm PaK 39 L/48 - giống như xe tăng Panther.

Ban đầu, Alkett đã xem qua rất nhiều mẫu khung tăng. Đầu tiên là khung pháo tự hành Marder, sau đó là StuG-III và thậm chí cả Panther, Panzer-IV. Khung tăng pháo tự hành Marder có khung hơi cao và chỗ trống bên trong không được rộng lắm; khung tăng StuG-III có cơ chế mở cửa ngoài thoát hiểm quá khó - dễ gây nguy hiểm cho kíp chiến đấu. Khung tăng Panther thì quá nặng, không phù hợp với một loại pháo tự hành có khối lượng hạng trung như Jagdpanzer IV. Chỉ còn lại khung tăng Panzer-IV và khung tăng này rất hợp với Jagdpanzer IV về cả kết cấu và thiết kế. Cuối cùng cả Alkett và Vomag đã chọn khung tăng Panzer-IV để lắp vào Jagdpanzer IV.

Mặc dù sử dụng khung tăng Panzer-IV nhưng Jagdpanzer-IV đã gia cố lại phần giáp trước và giáp xiên. Vì phải gia cố lại nên ngăn đặt động cơ phải di chuyển sang chỗ khác. Khung tăng do Alkett gia cố có lớp giáp hai bên sườn dày gần 80 mm cộng với lớp giáp trước dày hơn 100 mm tạo nên lớp bảo vệ rất chắc chắn cho Jagdpanzer-IV.

Ban đầu Jagdpanzer-IV được trang bị pháo chính PaK 42 L/70, tuy nhiên do ngăn chứa không đủ diện tích nên chỉ có thể lắp được pháo 7,5 cm PaK 39 L/48. Pháo PaK 39 L/48 không dài và mạnh bằng pháo PaK 42 L/70, về sau Alkett tăng thêm diện tích cho ngăn chứa pháo.

Việc lắp pháo PaK 42 rõ ràng đã tăng thêm trọng lượng cho Jagdpanzer-IV tuy nhiên vì khối lượng phần trước nặng (giáp trước dày hơn 100 mm + pháo PaK 42) nên Jagdpanzer IV có vẻ hơi nghiêng về phía trước. Điều này làm cho nó mất khả năng linh động trong việc tấn công và di chuyển. Dự án "Guderian's duck" được lập ra để giảm bớt trọng lượng phần trước của Jagdpanzer IV. Dự án đã tìm cách sắp xếp lại các vành của mỗi mắt xích nhằm tạo lại sự cân bằng cho toàn thân tăng. Một vài phiên bản sửa chữa đời sau có lắp loại xích mới này.

Mẫu Jagdpanzer-IV cuối cùng được giới thiệu vào tháng 12 năm 1943 và việc sản xuất được bắt đầu từ tháng 1 năm 1944. Đến tận tháng 11 năm 1944, toàn bộ số pháo PaK 39 L/48 mới được thay thế bằng pháo PaK 42 L/70. Việc sản xuất được tiếp tục đến tận tháng 3-4 năm 1945.

Vào ngày 22 tháng 8 năm 1943, Hitler nhận được báo cáo từ trận Kursk. Bản báo cáo cho thấy pháo tự hành StuG-III đã "biểu diễn" tốt hơn tăng Panzer-IV. Ngay lập tức ông ta ra lệnh dừng sản xuất Panzer-IV và thay thế Panzer-IV bằng Jagdpanzer-IV và Jagdpanther. Tuy nhiên, việc sản xuất Panzer-IV vẫn còn được tiếp tục đến tận năm 1944, sau đó mới bắt đầu dừng lại.